查看原文
其他

微某又搞事情,盘它,我顺便写了个工具

苏生不惑 苏生不惑 2023-02-26

苏生不惑第406 篇原创文章,将本公众号设为星标,第一时间看最新文章。

最近微博图片加了防盗链,直接打开微博图片地址会显示403 Forbidden,很多用微博当图床的网站都挂了。

解决方法来了,安装这个chrome扩展就可以继续用了https://chrome.google.com/webstore/detail/header-editor/eningockdidmgiojffjmkdblpjocbhgh/ ,它可以管理浏览器请求,包括修改请求头和响应头、重定向请求、取消请求,修改请求头、响应头、重定向请求、取消请求,安装后点击扩展进入管理界面,右下角点添加。

规则类型选择修改请求头,匹配类型选正则表达式 ,规则为.*\.sinaimg.cn,头名称为referer,头内容为https://weibo.com

然后在浏览器输入图片网址就可以访问了https://wx1.sinaimg.cn/oslarge/001U3j31ly1gnynq1xvcqj634022oqv502.jpg,除了编辑还可以导入规则,详情见https://github.com/FirefoxBar/HeaderEditor除了使用扩展也可以借助第三方网站转发,比如https://cdn.cdnjson.com/wx1.sinaimg.cn/oslarge/001U3j31ly1gnynq1xvcqj634022oqv502.jpg ,不过是个临时方案。

另外这次我还更新了下之前python写的微博图片,视频下载导出工具一键批量下微博内容/图片/视频,获取博主最受欢迎微博,图片查找微博博主  ,使用很简单,输入微博uid,是否下载图片和视频,1为是,0为否,如果想全部下载时间就输入2010-01-01,重点说下cookie , 需要登陆网页版微博 https://m.weibo.cn/ 在控制台获取。我之前录制了个视频国庆节假期学了2个新东西,分享下我的学习成果

工具下载地址分享到我的知识星球了加入我的知识星球 

下载效果:下载的图片和视频如图,图片为高清大图,视频也是高清。还有导出的微博数据excel,包括微博地址,微博内容,头条文章地址,图片地址,视频地址,发布时间,点赞数,评论数,转发数,阅读数,发布地区,是否原创,其中阅读数只有下载自己的号才有。

另外我还写了个脚本将excel里的微博头条文章链接下载为html,代码如下:

df = pandas.read_csv(f'{uid}.csv',encoding='utf_8_sig')
df = df[df['头条文章链接'].notnull()]
urls=df.头条文章链接.tolist()
# urls=[urls[0]]
for url in urls:
 try:
  res=requests.get(url,headers=headers, verify=False)
  title = re.search(r'<title>(.*?)</title>',res.text).group(1)
  weibo_time = re.search(r'<span class="time".*?>(.*?)</span>',res.text).group(1)
  if not weibo_time.startswith('20'):
   weibo_time=time.strftime('%Y')+'-'+weibo_time.strip().split(' ')[0]
  with open('articles/'+weibo_time+'_'+trimName(title)+'.html''w+', encoding='utf-8'as f:
   f.write(res.text.replace('"//','https://'))
   print('下载微博文章',url)
 except Exception as e:
  print('错误信息',e,url)

下载效果如图:最后批量转换pdf并合成一个pdf文件,文章的发布时间和标题作为书签,点击可跳转。

如果只想下载单条微博,可以用gallery-dl这个python开源命令行工具https://github.com/mikf/gallery-dl ,支持1400+网站的图片批量下载,使用pip install gallery-dl ,然后在命令行执行gallery-dl https://weibo.com/1744395855/Mm8wpaCxV -o headers.Referer=https://weibo.com/就可以下载了。

想导出单条微博的评论数据见之前文章一键批量下载微博评论数据,并分析ip归属地分布,包含评论时间,评论用户昵称,评论内容,点赞数和ip归属地等:

最后分享2个关于微博的冷知识,这个地址可以查询你微博拉黑过的人 https://weibo.cn/account/privacy/blocking/ ,修改微博图片地址就能查看无水印图片,比如李健这张微博图片,地址 https://wx1.sinaimg.cn/mw690/001U3j31ly1gnynq1xvcqj634022oqv502.jpg

把mw690换成oslarge 就行了 https://wx1.sinaimg.cn/oslarge/001U3j31ly1gnynq1xvcqj634022oqv502.jpg

强烈推荐我一朋友:混沌之下大学期间就挣够了在江西的老婆本,在杭州买车,买房。


专注于互联网赚钱项目操盘六年,月利润做到过23w+,带出了一千多位月入过万学员。


现在,以后,玩互联网的都可以加下他,围观他的朋友圈,获取行业最新讯息,不少铁子看他的文章都赚了几十万了,值得关注,强烈推荐。


前十名关注公众号并加他V:hundunzhixia888,送月入过万搞钱秘籍一份,先到先得,手慢无。加V一定要备注【苏生粉丝】,否则一律不通过。

最近原创文章:

加入我的知识星球

视频更新版:批量下载公众号文章内容/话题/图片/封面/音频/视频,导出html,pdf,excel包含阅读数/点赞数/留言数/赞赏数

一键批量下微博内容/图片/视频,获取博主最受欢迎微博,图片查找微博博主

录制了个视频:2022年11月一键下载百度网盘/百度文库/豆丁/道客巴巴/原创力文档

更新版:整理下苏生不惑开发过的那些工具和脚本

如果文章对你有帮助还请 点赞/在看/分享 三连支持下, 感谢各位!

公众号苏生不惑

您可能也对以下帖子感兴趣

SpringBoot 使用 RestTemplate 发送http请求的正确姿势(封装版)
基于EasyAnimate模型的视频生成最佳实践
得物商家客服从Electron迁移到Tauri的技术实践
自研E2E为稳定性保驾护航 | 得物技术
一次性搞定微博,苏生不惑又写了个脚本

文章有问题?点此查看未经处理的缓存